Những chi tiết về cuộc sống riêng tư của Castro, đặc biệt mà có dính líu tới những thành viên trong gia đình, ít được biết, bởi vì báo chí nhà nước bị cấm đề cập tới.[70] Với người vợ đầu tiên, bà Mirta Díaz-Balart (em gái Bộ trưởng Nội vụ lúc đó), mà ông cưới vào ngày 11 tháng 10 năm 1948, Castro có một người con trai tên Fidel Ángel "Fidelito" Castro Díaz-Balart, sinh ngày 1 tháng 9 năm 1949. Díaz-Balart và Castro ly dị trong năm 1955, sau đó bà cưới Emilio Núñez Blanco. Sau một thời gian cư trú ở Madrid, Díaz-Balart đã trở về Havana để sống với Fidelito và gia đình ông.[71] Fidelito lớn lên ở Cuba; có một thời, ông làm Chủ tịch Ủy ban Năng lực nguyên tử Cuba nhưng sau đó bị cách chức bởi chính cha mình.[72]

Ngoài ra, Fidel có năm người con trai khác với người vợ thứ hai, Dalia Soto del Valle: Antonio, Alejandro, Alexis, Alexander "Alex" and Ángel Castro Soto del Valle.[72] Trong khi Fidel ở với Mirta, ông đã ngoại tình với Natalia "Naty" Revuelta Clews, sinh ở Havana vào năm 1925 và đã làm đám cưới với Orlando Fernández, đẻ ra một người con gái tên Alina Fernández.[72] Alina rời khỏi Cuba vào năm 1993, hóa trang làm một du khách người Tây Ban Nha,[73] và xin tị nạn ở Hoa Kỳ. Bà đã chỉ trích chính sách của cha mình.[74] Với một phụ nữ khác không được biết tên, ông có một người con trai khác, tên Jorge Ángel Castro. Fidel còn có một người con gái khác, Francisca Pupo (sanh năm 1953) kết quả của một cuộc tình một đêm. Pupo và chồng bà bây giờ sống ở Miami.[75][76] Người viết tiểu sử về Castro, ông Robert E. Quirk ghi nhận là trong suốt cuộc đời, Fidel thường có quan hệ tình một đêm với các người đàn bà khác vì ông "không có khả năng để duy trì một quan hệ yêu đương lâu dài với bất cứ người phụ nữ nào."[77][78]

Em gái của ông, bà Juanita Castro, từng là một nhân viên tình báo Mỹ (CIA) hoạt động chống lại chính anh em trai mình trước khi chuyển sang sống ở Hoa Kỳ ngay từ đầu thập niên 1960. Khi bà đi tỵ nạn, đã nói là "Tôi không thể hờ hững với những gì đang xảy ra trên đất nước tôi. Hai anh em của tôi, Fidel và Raúl đã biến nước tôi thành một nhà tù khổng lồ được bao quanh bởi biển cả. Người dân đang bị trói buộc và hành hạ bởi chủ nghĩa cộng sản quốc tế."[79]

Báo RFI dẫn lời sĩ quan cận vệ Juan Reinaldo Sanchez, người đã chạy sang Mỹ lưu vong năm 2008, trong quyển sách "La Vie cachée de Fidel Castro" đã cáo buộc: "Cả cuộc đời, Fidel Castro khẳng định ông không có tài sản, chỉ có một chiếc lều câu cá. Thực tế, căn lều của lãnh đạo Cuba là một hệ thống biệt thự sang trọng, huy động những phương tiện hậu cần khổng lồ, chiếm trọn đảo Cayo Piedra mà giới lãnh đạo xã hội chủ nghĩa thường sang thăm Cuba ít ai biết."[80] Tuy nhiên, các nhà báo quốc tế từng tới phỏng vấn Fidel tại nhà ông đã cho biết: mặc dù được cung cấp thực phẩm và chăm sóc y tế tốt, Fidel không hề sống một cuộc sống xa hoa.[81]

Năm 2006, tạp chí Forbes từng ghi nhận Fidel có tài sản 900 triệu USD, tuy nhiên tạp chí này cũng thừa nhận ước tính này mang tính cảm quan hơn là khoa học. Sau đó, Fidel Castro đã giận dữ xuất hiện trên truyền hình để bác bỏ tuyên bố của tạp chí Forbes, gọi đó là "sự vu khống lố bịch". Chủ tịch Fidel Castro còn tuyên bố sẽ từ chức nếu Forbes chứng minh được ông có tài sản gửi ở nước ngoài, dù đó chỉ là 1 USD. Thống đốc Ngân hàng Trung ương Cuba Francisco Soberon cho rằng, Cơ quan Tình báo Mỹ đứng đằng sau thông tin trên tạp chí Forbes với mục đích bôi nhọ Fidel Castro. Tháng 5 năm 2006, nhà báo Mỹ George Galloway đã xuất hiện trên truyền hình Cuba để bảo vệ Castro. Ông nói: "Những người dân Cuba là những người duy nhất trên thế giới có một nhà lãnh đạo có thể nói rằng ông ta không có một đồng đôla riêng của mình."[46]

Đại tá Hồ Văn A nhớ lại chuyến thăm Việt Nam năm 1973, Chủ tịch Fidel Castro khi tới Quảng Bình, thấy một dân công nữ bị ngất đã cho dừng xe, lệnh cho Đại sứ quán Cuba tại Việt Nam lấy xe chở đi cấp cứu. Ngay sau đó, Fidel đã gọi điện về nước và yêu cầu sớm xúc tiến việc xây dựng một bệnh viện ngay tại khu vực này. Chỉ một thời gian ngắn, Bệnh viện Hữu nghị Việt Nam - Cuba đã ra đời ngay tại Đồng Hới, Quảng Bình. Khi về nước, Fidel vẫn nhớ tới người nữ dân công và đã gửi thuốc cùng danh thiếp kỷ niệm sang cho chị. Nhiều nhân chứng ngày ấy vẫn nhớ hình ảnh Fidel vóc dáng to lớn, mặc bộ quân phục màu xanh nhưng cử chỉ lại gần gũi đến bất ngờ.[82][83]

Fidel Castro nổi tiếng với giờ làm việc bận rộn, ông thường chỉ ngủ 3 hay 4 giờ mỗi ngày[84] Ông có một trí nhớ "phi thường", các bài phát biểu Castro thường trích dẫn các báo cáo và những cuốn sách ông đã đọc, ông có thể diễn thuyết về một chủ đề trong suốt nhiều giờ trước đám đông mà không cần tài liệu kèm theo[85] Ngay từ nhỏ, ông đã đam mê các loại vũ khí, nhất là súng[86] và ưa thích cuộc sống ở vùng nông thôn ngoại ô thành phố.[87]

Nói về động lực của đời mình, Fidel phát biểu: